• 专利附录
  • 专利说明
  • 权利要求
  • 类似技术
  • 同族专利
  • 引用文献
  • 法律状态
  • 优先权
    • 专利摘要:
    利用在一區塊之列與行中操作之一空間轉換之影音編碼及解碼方法，具有一集合之轉換略過模式，其包括：在列與行中轉換；僅在列中轉換；僅在行中轉換；無轉換。相應選定模式之一指示被提供給解碼器。在略過之轉換的轉換向量的範數之上係數藉由一因子來被度量化，以使非轉換影像值成為如轉換係數之相同等級。
    公开号:TW201320751A
    申请号:TW101122347
    申请日:2012-06-22
    公开日:2013-05-16
    发明作者:Marta Mrak；Andrea Gabriellini；Nikola Sprljan；David Flynn
    申请人:British Broadcasting Corp；
    IPC主号:H04N19-00
    专利说明:
    利用轉換操作之影音編碼及解碼方法
    本發明有關於影音壓縮與解壓縮系統，且特別有關於一架構來適應地塑造在預測與熵編碼間的信號表示，藉由適應的使用轉換功能與相關工具，包括度量化、量化、掃描、與信號通知。
    影音序列的傳輸與儲存被利用於例如TV廣播、網際網路影音串流服務與影音會議之許多應用中。
    在原始格式中的影音序列需要一非常大量的資料來進行表示，如一序列之每一秒可以由十個個別畫面(frame)構成，且每一畫面係由典型地至少8位元之像素來表示，而每一畫面需要上百或上千的像素。為了縮小傳輸與儲存成本，影音壓縮被使用於原始影音資料。此目標係盡可能的以較少容量來表示原來的資訊，即越少位元越好。需要來表示一影音序列之容量的減少將會影響壓縮序列的影音品質，即其與原來未壓縮影音序列的相似度。
    最新技術之影音編碼器，如AVC/H.264利用四種主要作業來達到影音壓縮的最高等級，而達到壓縮影音序列之影音品質的一期望水準：預測、轉換、量化與熵編碼。預測作業利用影音序列中找到之時間與空間的多餘部分來大量減少需要表示資料的容量。對於編碼器與解碼器而言用來預測資料的機制係已知的，因此僅要一錯誤信號，或殘差(residual)必須要傳送至解碼器來重建原來的信號。此作業典型地係以資料區塊(如8x8像素)進行，而非整個畫面。預測典型地對照已經重建之畫面或屬於相同畫面之重建像素區塊來進行。
    轉換作業目標係發現剩餘信號中呈現的關聯。其藉由將信號的能量集中於幾個係數來執行。因此，此轉換係數典型地比剩餘之像素需要較少的位元來表示。H.264根據離散餘弦轉換(DCT)使用4x4與8x8整數類型轉換。
    對於許多應用而言，在轉換作業之輸出中需要來表示資料的容量可能仍會太高。此外，係不可能去修改轉換作業來為了達到壓縮信號之容量的期望水準。量化作業藉由允許將需要來表示信號之容量的近一步減少來完成。應該注意的是，此程序係破壞性的，即重建之序列將會看起來與原來的不同。
    熵編碼作業取出所有的非零量化轉換係數且處理他們，以使其被效率地以一位元串流來表示。此需要以一特定順序讀取、或掃描轉換係數來縮小需要來表示壓縮影音序列之容量。
    前述說明應用至一影音編碼器。一影音解碼器將以大體上之反順序執行所有前述作業。特別地，在解碼器端的轉換程序將需要使用編碼器上使用之反轉換。類似地，熵編碼變成熵解碼，且量化作業變成反度量化(scaling)。預測作業在編碼器與解碼器上典型地以確切相同方式執行。
    本發明有關於編碼的轉換部分，因此一更徹底的轉換檢視在此呈現。
    殘差的統計特質影響轉換(即DCT)的能力在一小數量係數中壓縮輸入信號的能量。根據預測的品質且預測是否利用空間或時間的多餘殘差顯示非常不同的統計特質。其它影響預測品質的因子係被使用之區塊的尺寸與被處理之序列的空間/時間特質。
    已知的是DCT接近相應高度關聯Markov-I信號之最大能量壓縮(compaction)效能。DCT的能量壓縮效能隨著信號關聯變弱時開始下降。舉例來說，係有可能來顯示對於具有較低鄰近關聯特質之輸入信號，離散正弦變換(DST)係如何勝過DCT。
    在影像與影音編碼中的DCT與DST通常地使用於區塊，即2D信號；其意思係先在一方向(如水平)執行一一維轉換，接著在另一方向執行一一維轉換。如已經提到的，一轉換之能量壓縮能力係根據輸入信號的特質。係可能且確實地，對於輸入至轉換之二維信號，以沿著兩垂直與水平軸顯示不同特質而言，其也一般地根據一些情況。在此情況中，其期望來在每一軸選擇最佳效能的轉換。一類似方法已經在發展之高效能視訊壓縮標準(HEVC)的新ISO與ITU影音編碼標準內被嘗試。特別地，兩個一維可分離的轉換，如DCT類型[2]與DST[3]的一組合已經被在發展之HEVC標準中使用。
    而之前根據DCT的編碼標準使用一二維轉換(2DDCT)，新解法實施DCT與DST之一組合至畫面內預測區塊，即在空間地預測之區塊上。已經顯示的是，當方向性預測係由接近水平之一方向然後再垂直時，對於列的轉換DST比DCT係一更好的選擇，且類似地，當方向性預測係接近垂直時，對於行的轉換DST比DCT係一更好的選擇。在剩餘的方向中(如當DST實施於行時，在列中)，DCT被使用。
    為了實作的目的，再影音編碼中一般使用DCT與DST之整數概算，其在正文之其餘中將簡單地參照為DCT與DST。整數DCT類型的一解法使用16位元中間資料表示，且係已知為部份碟型。其主要特質係如DCT相同之(反)對稱特質，幾乎正交基礎的向量，在每一轉換階段之前與之後的16位元資料表示，對於所有內部乘法的16位元乘法器，且當(反)量化時不需要相應不同基礎向量之範數的修正。
    在一型態中，本發明在於利用在一區塊之行與列中操作之一空間轉換之一影音編碼方法，包括下列步驟：建立一集合之轉換略過模式，包括：在列與行中轉換；僅在列中轉換；僅在行中轉換；無轉換；選擇該等模式中之一者；且提供選定模式之一指示給一解碼器。
    在該型態中，本發明也在於一影音解碼方法，其影音係利用在一區塊之列與行中操作之一空間轉換進行編碼，具有轉換略過模式，包括：在列與行中轉換；僅在列中轉換；僅在行中轉換；無轉換；包括下列步驟以提供轉換略過模式之一指示且依照此模式實施反轉換。
    在另一型態中，本發明在於利用在影像值之一區塊的列中操作一列轉換且具有一列轉換向量，且在影像值之該區塊的行中操作一行轉換且具有一行轉換向量之影音編碼方法，包括下列步驟：建立一集合之轉換模式，包括一略過模式，其中列轉換或行轉換中之一或兩者被略過；選擇該等模式中之一者；對於一轉換被略過之任何區塊，實施一度量因子至該區塊之相應影像值，其中該度量因子係依賴於略過轉換之轉換向量的範數之上，以使非轉換影像值成為如轉換係數之相同等級；且提供選定模式之一指示給一解碼器。
    本發明也在於一影音解碼方法，其影音係利用在影像值之一區塊的列中操作一列轉換且具有一列轉換向量，且在影像值之該區塊的行中操作一行轉換且具有一行轉換向量進行編碼，包括下列步驟：接收一轉換略過模式之一指示，其中列轉換或行轉換中之一或兩者被略過；依照該模式實施反轉換且實施反度量至任何未轉換影像值，度量因子係依賴於略過轉換之轉換向量的範數之上。
    相同的度量因子可以使用於在一度量列或行之所有係數。
    在另一型態中，本發明在於利用在影像值之一區塊的列中操作一列轉換且具有一列轉換向量，且在影像值之該區塊的行中操作一行轉換且具有一行轉換向量之影音編碼方法，包括下列步驟：建立一集合之轉換模式，包括一略過模式，其中列轉換或行轉換中之一或兩者被略過；選擇該等模式中之一者；對於一轉換被略過之任何區塊，依據略過之轉換調適一量化階段且提供選定模式之一指示給一解碼器。
    在此型態中，本發明也在於一影音解碼方法，其影音係利用在影像值之一區塊的列中操作一列轉換且具有一列轉換向量，且在影像值之該區塊的行中操作一行轉換且具有一行轉換向量進行編碼，包括下列步驟：接收轉換略過模式之一指示，其中列轉換或行轉換中之一或兩者被略過；依照該模式實施反轉換且依據略過之轉換實施反量化調適。
    較佳地，當在行中操作的轉換被略過時，在每一行具有相同值之一量化矩陣被實施，且當在列中操作的轉換被略過時，在每一列具有相同值之一量化矩陣被實施。
    在另一型態中，本發明在於利用在一區塊之列與行中操作之一空間轉換之一影音編碼方法，包括下列步驟：建立一集合之轉換略過模式；選擇該等模式中之一者；且提供選定模式之一指示給一解碼器；其中在一區塊內被編碼/解碼之第一與最後係數的位置被信號通知給解碼器且在該第一與最後係數間執行係數之一掃描。
    在此型態中，本發明也在於一影音解碼方法，其影音係利用在一區塊之列與行中操作之一空間轉換進行編碼，具有一集合之轉換略過模式，包括下列步驟：接收轉換略過模式之一指示；依照該模式實施反轉換；接收相應在一區塊內被解碼之第一與最後係數的位置之一指示且在該第一與最後係數間掃描係數。
    一雙重掃描可以執行，其中一區塊之轉換係數係以子區塊之係數表示；在子區塊等級掃描中每一子區塊被訪視，且一掃描使用於每一子區塊的內部。
    下述較佳特徵與本發明前面提出之每一型態有關。
    轉換略過模式之集合可以包括兩種模式：在列與行中轉換與無轉換。可替代地，轉換略過模式之集合可以包括四種模式：在列與行中轉換；僅在列中轉換；僅在行中轉換；與無轉換。
    模式選擇可以被信號通知給一解碼器，其中每一模式被指定一代碼。相同的轉換略過模式可以被使用於一YUV區塊之所有組件(亮度-Y與色度-U與V)。對於一區塊群組，相應一區塊之所有組件YUV，轉換略過模式可以被信號通知，對於其他區塊群組，相應每一組件會分別地信號通知。因此，在HEVC中，對於INTER編碼區塊而言具有聯合YUV模式信號通知，且對於INTRA編碼區塊之每一組件而言具有分開TSM模式係有用的。
    對於具有僅有零值係數的區塊而言，轉換略過模式可以不需要被信號通知。當亮度元件只具有零值時，可以不需要被信號通知；在此情況中，2D轉換被用於色度組件。當亮度組件之僅非零值係數係此區塊的左上角(DC組件)時，可以不需要被信號通知；在此情況中，2D轉換被用於色度組件。對於具有既定其他模式之區塊(如僅由其他畫面預測)，轉換略過模式可以被信號通知。
    在一些例子中，在熵編碼階段一區塊內係數被掃瞄的順序可以依照轉換略過模式來調適。因此，當列轉換被略過且行轉換保留時可以使用逐列掃描，且當行轉換被略過且列轉換保留時可以使用逐行掃描。
    為使本發明之上述目的、特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖示，詳細說明如下。
    本發明呈現一模式來執行轉換作業-轉換略過模式(TSM)。如前所述，在影音編碼中最普遍的轉換係DCT。其能量壓縮效能根據殘差(residual)的關聯。也已經提及殘差係如何可以高度去關聯，或僅在一方向中關聯，使得2DDCT有較差的效率。在位元率失真觀念中，當編碼器做出如此的決定時，可以提議來略過轉換作業。選定的轉換模式必須被信號通知給解碼器，解碼器接著執行如信號通知中定義之轉換/略過轉換之一組合。
    其係可能去以兩種模式進行操作，換言之2D轉換(包括列轉換與行轉換)之一第一模式與無轉換之一第二模式。
    在下述說明中，這些模式被以藉由只略過列轉換或行轉換形成之額外模式補充。因此，四種轉換模式被定義於表格1中。
    TS0模式對應至2D轉換，即2D DCT。TS1模式定義一維水平DCT之應用，接著在正交方向中之一轉換略過，即行轉換被略過。TS2定義略過水平轉換，而只有行被轉換。最後，TS3模式完全地略過兩軸的轉換，即沒有轉換被實施至輸入信號。
    第1圖與第2圖顯示分別相應編碼器與解碼器之核心轉換略過模式的方塊圖。每一轉換略過模式與相應之旗標對組(Tf0,Tf1)被選取，使得TS0：(1,1),TS1：(1,0),TS2：(0,1)與TS3：(0,0)。
    對於來自致能調適選項之一壓縮位元串流的任何其他額外位元，轉換略過模式的信號通知可以係昂貴的。因此，多個策略被策畫來最大化編碼的效率。
    四種TSM選項可以使用小心設計的代碼來進行信號通知。這些代碼不需要對於每一區塊的進行傳送，但一些其他方法可以使用來節省必要的位元率。
    一些用以減少信號通知成本的可能被列於下面；每一選項影響編碼器與解碼器之轉換相關部分：
    1.相同的轉換模式使用於一YUV區塊之所有組件(亮度-Y與色度-U與V)；因此，對於Y、U與V搭配的區塊，只有一TSM選擇被傳送。
    2.當所有量化區塊(Y、U與V)僅具有零值的係數時，TSM不被信號通知。
    3.當Y區塊具有僅零值的係數時，對於區塊TSM不被信號通知，且接著2D DCT被使用於U及V組件。
    4.只有對於具有特定其他模式(如雙向預測)之區塊，TSM被信號通知；否則實施2D-DCT。
    5.在一集合之區塊中TSM之應用被信號通知(若”開著”，則對於來自此集合中之每一區塊，TS模式被信號通知)。
    6.在一集合的區塊中，TSM被信號通知(例如所有子區塊共享相同的TSM)。
    7.若特定其他區塊特徵呈現時，TSM被信號通知，例如當Y區塊只具有一非零值時，且此值係在區塊的左上角(DC組件)時，TSM不被信號通知，在其情況中，2D-DCT被使用於所有組件。
    四種TSM模式(2D轉換，兩種1D區塊轉換與在一區塊中略過轉換)可以被定義各種代碼，如以簡單的2位元字元，或以更多位元(即以一元編碼)：
    若使用算數編碼，每一二進位檔(bin)之代碼可以以不同的可能模式來編碼(即相應每一片段(slice)之最初上下文狀態)，根據目前區塊尺寸與QP值。另一方面，若使用可變長度編碼，TSM代碼可以被獨立地編碼或與其他語法元件來合併，以減少信號通知的負載。
    在一些方法中，一區塊不總是一次轉換，而係相應其分割為更小的子單元之選項被實施，且轉換被實施於每一子單元上。代表性的此轉換結構係差值四元分割(RQT)方法。而在到目前為止並未更分割為假設之較小單元之區塊上的TSM應用，TSM也可以實施至如此之多次分割轉換結構。多種選項可以識別：
    1. TSM被決定於一區塊等級，且相同的轉換選擇被實施於每一子單元。
    2. TSM僅在轉換結構之根等級被致能，即當一多重分割結構致能時當一區塊不再分割為更小的單元時；若一區塊被分割為較小的單元，每一單元使用2D轉換被轉換。
    3.對於每一子單元，TSM被決定且信號通知，與其深度獨立。
    4.對於子單元，最多至特定深度(尺寸)之單元，TSM被決定且信號通知；對於較低子單元，當TSB不被信號通知時，使用2D轉換。
    當轉換不被在一或兩方向中進行時，一區塊內之係數可以具有不同的特徵。因此，根據轉換略過模式可以實施不同的編碼策略，以更佳地壓縮交給的係數。
    當2D轉換被實施於一區塊時，結果的係數通常被群聚朝向一區塊之左上角，換言之，他們係低頻組件。習知掃描，如鋸齒型掃瞄，因此係一好選擇來編碼如此信號。
    若只有1D轉換被實施(TS1或TS2)，可以使用調適性掃描。舉例來說，由於使用者可以期望實施的轉換可以將集中係數朝向於低頻，一逐列或一逐行掃描可以分別用於TS2與TS1的情況。
    對於TS3的情況，其中一轉換並未實施於任何方向中，可以使用一習知掃描(用於2D轉換區塊)。可替換地，一不同的掃描型態可以被利用，其考慮到非零係數被不一制地分布的機率(含有引導為無轉換之決定)。舉例來說，係數可以被群聚於由零係數之”海”圍繞之”島”中。
    因此，在一新安排中，一區塊內之第一與最後有效係數可以在位元串流中被傳送，且在一區塊內係數之之一習知掃描可以接著被進行。此顯示於第3圖中，其中白色方塊表示並未編碼且具有零值之係數，灰色方塊表示將會編碼的係數，即包括有效(非零)係數，其中第一個編碼的係數被標示為”F”且最後編碼的係數被標示為”L”。掃描僅被執行於屬於由第一與最後係數所定義之區域之列與行中。在此掃描方法中，第一係數的x與y座標必須相同或小於最後有效係數的x與y座標。
    此安排在非零係數被叢集之情況中應該可以導致高度效率的編碼，但在編碼器中需要額外複雜度來決定一區塊內第一與最後有效係數的位置，且需要信號通知這些位置給解碼器。
    在一可替代方式中，可以使用一雙鋸齒式掃描，如第4圖中所揭示，其中一區塊的轉換係數由子區塊係數來表示。每一子區塊在子區塊等級的鋸齒式掃描中被訪視，且在每一區塊內部使用一鋸齒式掃描(或任何其他掃描)。此致能非零係數的更佳群聚，其有空間接近的傾向。
    將可以期望的，一決定被選用來略過一或兩個1D轉換，來縮小或移除改變此作業之其他元件的需要，以適應略過之轉換或轉換。
    此處，相應調適性轉換階段之兩種實作策略被識別：
    1)略過選定之列/行的轉換，且修改量化階段。
    2)藉由合適的度量步驟且當需要時調適量化步驟來取代選定之列/行的轉換。
    第一個策略適當地與第1圖與第2圖呈現，利用度量化之第二個策略於第5圖與第6圖中揭示。為何要進行度量化的一個主要原因係要在轉換區塊之間以最高支援精確性維持信號的等級。此於第5圖與第6圖中使用虛線來表示。
    藉由利用由相應轉換向量之範數-2導出之一因子(若轉換被選擇，其會被使用來在一列/行之相同位置得到一轉換係數值)度量化每一輸入像素值來進行度量化。一些轉換具有每一向量之接近標準正交的特質，且此特質可以更簡化度量化設計，由於一單一值可以用來適當地度量全部轉換被略過之列/行。
    接下來，度量化策略在具有16位元中間資料表示之整數DCT轉換的上下文中討論。然而，將可以辨識的，此僅為一例子。
    使用於HEVC之轉換具有範數(TNN)，其中N係轉換的尺寸，接近下列數字：-4-點轉換：TN4=128=27；TNS4=7；-8-點轉換：TN8=181=27.5；TNS8=7.5；-16-點轉換：TN16=256=28；TNS16=8；-32-點轉換：TN32=362=28.5.TNS32=8.5；其中TNS對應至轉換範數位移參數(以左位元位移表示之2次方)。注意的是，在HEVC中，每一轉換向量可以具有微小地不同範數，但這些數字對於實際實作係好的近似值。此事實也可以反應於量化的設計中與轉換等級調整中，以維持16位元中間資料表示。舉例來說，在HEVC解碼器設計中，16位元值參加反轉換。為了要達到行(第一階段反向)與列(第二階段反向)轉換間的16位元精準度，且在列轉換之後的9+DB精準度，下列信號等及位元位移發生(考量N x N區塊尺寸)：SHIFT=TNSN-SHIFT_INV_1ST+TNSN-(SHIFT_INV_2ND-DB)，其中，根據標準，SHIFT_INV_1ST=7且SHIFT_INV_2ND=12，且DB係用以處理之位元深度增額(如0或2)。內部處理位元深度為B=8+DB。因此，SHIFT等於：SHIFT=2．TNSN-19+DB=2．TNSN-27+B。
    此對應至在HEVC量化中使用之參數轉換位移。以考量4 x 4區塊的例子(TNS4=7)，此導致為-SHIFT4=13-B，即右位移13-B。
    而此例子可以用來TS3之表述信號等級調整，當轉換僅被實施於一個方向時，一些額外的考量必須考慮。即因為TNSN並非總是整數數字，因此位元位移並非等級調整的唯一選項。用以表述相應如此組合之一致設計的其他選項將於下述內文中提出。
    其中一轉換被度量化取代，調適性轉換階段以一方式設計，其中其可以在具有16位元中間資料表示之整數DCT轉換內交錯，即目標來取代一些他的部份且與支援原來2D轉換之編解碼器的剩餘部份相容。舉例來說，不實施之轉換可以以仍然與實施於行中的2D轉換的部份相容之一方式用於列中。此意味者相應2D轉換實施之量化也可以與調適性轉換選擇使用。
    前向轉換略過分別地定義予列與行。
    在列的樣本x中，轉換略過被實施為：y=(x．度量+位移)右位移S位元 (a)其中：S=M-1+DB位移=1左位移(S-1)位元DB=B-8位元深度增額以處理M=log2(N)，其中N係像素數目中的列/行尺寸，且度量係一無號整數乘法器。
    在行中，轉換略過係如(a)中實施，其中x係行的樣本，惟：S=M+6位移=1左位移(S-1)位元。
    在此方式中，在每一轉換階段之後，如在2D轉換中，一16位元寬被確保。
    再次，度量因子以一方式設計以接近相關轉換向量之範數-2(scaleN 2=TNN 2=N．642)且為一整數數字。在行的樣本x中，反轉換略過被實施為：y=(x．度量+位移)右位移S位元其中：S=7位移=1左位移(S-1)位元，且度量與前向略過中相同。
    在列中，相同的轉換略過作業被實施，惟：S=12-DB，其中DB係與前向轉換略過中相同。
    為了節省不必要之像素處理，一或兩個1D轉換被略過，度量化可以被移動至量化。此外(舉例來說)，若僅有垂直轉換被保留，其可以被調適來確保像素之最大16位元表示。此致能可以達到可用位元寬的完全使用。因此，不僅僅因為與略過轉換相關之度量化，且相關於一轉換內之新度量化，在量化中的度量化必須進行調適。
    TSM=TS0(2D轉換)
    規則2D轉換與相應之量化被使用。
    TSM-TS1(於列中1D轉換)與TS2(於行中1D轉換)
    在兩種情況中，前向轉換相應至原來的列轉換y=(x+位移)右位移S位元， (b)其中：X係殘差區塊的原來值，S=M-1+DB，位移=1左位移(S-1)位元，且M與DB係如(a)中相同。
    此確保16位元中間資料精確性。
    量化被調適且考量信號目前的等級。
    TSM=TS3(無轉換)
    殘差像素被直接地使用平矩陣來量化，以至於信號等及相應於被2D轉換且量化之量化係數的等級。
    當一轉換被略過時，信號等級如何可以被調整之另一例子參考第7圖被呈現於後。在此例子中，目標係減少需要來達到期望效能的操作數目。在其上下文中，其中一轉換或他的部份可以被略過或取代，此技術使用一或多個基本操作之組合：1.改變為轉換階段內的位元位移；2.藉由小於2之一因子調整相應度量化之量化一信號；3.以量化之外的一數量取代轉換或他的部份。
    信號的每一度量化可以藉由利用2N的一因子來度量化(其中N係一正整數)來表示，且藉由利用小於2的一因子M來度量化來表示。注意的是，在此情況中，N係如之前例子中的轉換尺寸。在此發明中，操作1致能信號以2N(位元位移)之一因子度量化，且操作2致能以M度量化。M之選擇典型地被限制且憑藉著量化的設計。在影音編碼中之一1D轉換的一典型組件係位元位移。因此，此處實施之操作1無困難地利用2N之一因子致能一信號等級之調整。在兩種轉換被略過的情況中，信號等級的調整可以在第7圖之”度量化”區塊中進行，其相應至操作3。在任何情況中，利用小於2之一因子、一量化參數位移、或量化度量化因子之信號調整可以適當地被選擇來執行需求的信號等級調整。舉例來說，在高效能視訊壓縮標準(HEVC)中，將3之一位移加入一量化參數相等於利用sqrt(2)(根2)調整信號的等級。
    值得注意的是，本案已經透過前述例子說明，且在不脫離如相應專利範圍之本案精神與原則內，前述實施例當可做廣泛變化之更動。此處在特定組合中說明之特徵可以在這些特別提及之外的其他組合中找到有用的應用，且可以在特定情況中獨立使用。舉例來說，在影音編碼與解碼之掃描方法，其中：在一區塊內要被編碼/解碼之第一個與最後一個係數的位置被信號通知給解碼器且該第一與最後一係數間執行係數之一掃描；或執行一雙掃描，其中一區塊之轉換係數被以子區塊之係數來表示；每一子區塊在子區塊等級鋸齒式掃描中被訪視，且在每一子區塊內部使用額外的掃描樣式；在轉換略過模式之情況之外可能係有用的。
    本發明型態已經以四種轉換略過模式進行說明，必須注意的是在一些特定應用中係可能僅使用這些模式中之兩者來運作。
    Tf0、Tf1‧‧‧旗標對組
    TM‧‧‧轉換略過參數
    第1圖為一方塊圖係顯示依據本發明實施例之一編碼器上之一特徵。
    第2圖為一方塊圖係顯示依據實施例之一解碼器上之特徵。
    第3圖為一圖示係顯示相應已知鋸齒式(zig-zag)掃描方法之一可替代方法。
    第4圖為一圖示係顯示另一可替代掃描方法。
    第5圖為一方塊圖係顯示依據本發明另一實施例之一編碼器上之一特徵。
    第6圖為一方塊圖係顯示依據實施例之一解碼器上之特徵。
    第7圖為一方塊圖係顯示依據本發明另一實施例之一解碼器上之一特徵。
    Tf0、Tf1‧‧‧旗標對組
    权利要求:
    Claims (24)
    [1] 一種影音編碼方法，利用在一區塊之行與列中操作之一空間轉換，包括下列步驟：建立一集合之轉換略過模式，包括：在列與行中轉換；僅在列中轉換；僅在行中轉換；無轉換；選擇該等模式中之一者；且提供該選定模式之一指示給一解碼器。
    [2] 一種影音解碼方法，其中一影音係利用在一區塊之列與行中操作之一空間轉換進行編碼，具有轉換略過模式，該等模式包括：在列與行中轉換；僅在列中轉換；僅在行中轉換；無轉換；該方法包括下列步驟以提供該轉換略過模式之一指示且依照該模式實施反轉換。
    [3] 一種影音編碼方法，利用在影像值之一區塊的列中操作一列轉換且具有一列轉換向量，且在影像值之該區塊的行中操作一行轉換且具有一行轉換向量，包括下列步驟：建立一集合之轉換模式，包括一略過模式，其中列轉換或行轉換中之一或兩者被略過；選擇該等模式中之一者；對於一轉換被略過之任何區塊，實施一度量因子至該區塊之相應影像值，其中該度量因子係依賴於略過轉換之該轉換向量的範數之上，以使非轉換之該影像值成為如轉換係數之相同等級；且提供該選定模式之一指示給一解碼器。
    [4] 一種影音解碼方法，其中一影音係利用在影像值之一區塊的列中操作一列轉換且具有一列轉換向量，且在影像值之該區塊的行中操作一行轉換且具有一行轉換向量進行編碼，該方法包括下列步驟：接收一轉換略過模式之一指示，其中列轉換或行轉換中之一或兩者被略過；依照該模式實施反轉換且實施反度量至任何未轉換之影像值，該度量因子係依賴於略過轉換之該轉換向量的範數之上。
    [5] 如申請專利範圍第3或4項之方法，其中相同之該度量因子被使用於在度量化之列或行之所有係數。
    [6] 一種影音編碼方法，利用在影像值之一區塊的列中操作一列轉換且具有一列轉換向量，且在影像值之該區塊的行中操作一行轉換且具有一行轉換向量，該方法包括下列步驟：建立一集合之轉換模式，包括一略過模式，其中列轉換或行轉換中之一或兩者被略過；選擇該等模式中之一者；對於一轉換被略過之任何區塊，依據略過之該轉換調適一量化階段且提供該選定模式之一指示給一解碼器。
    [7] 一種影音解碼方法，其中一影音係利用在影像值之一區塊的列中操作一列轉換且具有一列轉換向量，且在影像值之該區塊的行中操作一行轉換且具有一行轉換向量進行編碼，該方法包括下列步驟：接收一轉換略過模式之一指示，其中列轉換或行轉換中之一或兩者被略過；依照該模式實施反轉換且依據略過之該轉換實施反量化調適。
    [8] 如申請專利範圍第1至7項中任一項之方法，其中在行中操作的轉換被略過時，在每一行具有相同值之一量化矩陣被實施，具當在列中操作的轉換被略過時，在每一列具有相同值之一量化矩陣被實施。
    [9] 一種影音編碼方法，利用在一區塊之列與行中操作之一空間轉換，包括下列步驟：建立一集合之轉換略過模式；選擇該等模式中之一者；且提供該選定模式之一指示給一解碼器；其中在一區塊內被編碼/解碼之第一與最後係數的位置被信號通知給解碼器且在該第一與最後係數間執行係數之一掃描。
    [10] 一種影音解碼方法，其中一影音係利用在一區塊之列與行中操作之一空間轉換進行編碼，且具有一集合之轉換略過模式，該方法包括下列步驟：接收該轉換略過模式之一指示；依照該模式實施反轉換；接收相應在一區塊內被解碼之第一與最後係數的位置之一指示且在該第一與最後係數間掃描係數。
    [11] 如申請專利範圍第1至10項中任一項之方法，其中一雙重掃描被執行，其中一區塊之轉換係數係以子區塊之係數表示；在子區塊等級掃描中每一子區塊被訪視，且一掃描使用於每一子區塊的內部。
    [12] 如申請專利範圍第1至11項中任一項之方法，其中模式選擇被信號通知給一解碼器，其中每一模式被指定一代碼。
    [13] 如申請專利範圍第1至12項中任一項之方法，其中在熵編碼階段一區塊內係數被掃瞄的順序被依照該轉換略過模式來調適。
    [14] 如申請專利範圍第13項之方法，其中當列轉換被略過且行轉換保留時使用逐列掃描，且當行轉換被略過且列轉換保留時使用逐行掃描。
    [15] 如申請專利範圍第1至14項中任一項之方法，其中對於一區塊群組，相應一區塊之所有組件YUV，轉換略過模式被信號通知，且對於其他區塊群組，相應每一組件會分別地信號通知。
    [16] 如申請專利範圍第1至15項中任一項之方法，其中相同的轉換略過模式被使用於一YUV區塊之所有組件(亮度-Y與色度-U與V)。
    [17] 如申請專利範圍第1至16項中任一項之方法，其中對於具有僅有零值係數的區塊而言，轉換略過模式不被信號通知。
    [18] 如申請專利範圍第16項之方法，其中當該亮度元件只具有零值時，轉換略過模式不被信號通知；在此情況中，2D轉換被用於色度組件。
    [19] 如申請專利範圍第16項之方法，其中當該亮度組件之僅非零值係數係該區塊的左上角(DC組件)時，轉換略過模式不被信號通知；在此情況中，2D轉換被用於色度組件。
    [20] 如申請專利範圍第1至19項中任一項之方法，其中僅對於具有既定其他模式之區塊(如僅由其他畫面預測)，轉換略過模式被信號通知。
    [21] 如申請專利範圍第1至20項中任一項之方法，其中轉換略過模式被信號通知於一區塊集合。
    [22] 一種電腦程式產品，包含指令來導致可編程裝置來實作依據前述方法中任一者之一方法。
    [23] 一種影音編碼器，調適且配置來依照申請專利範圍第1、3、6及9項中任一項來操作。
    [24] 一種影音解碼器，調適且配置來依照申請專利範圍第2、4、7及10項中任一項來操作。
    类似技术:
    公开号 | 公开日 | 专利标题
    TWI516095B|2016-01-01|利用轉換操作之影音編碼及解碼方法
    US11206397B2|2021-12-21|Reconstructed block creating method
    JP5989841B2|2016-09-07|映像復号化装置
    KR100801967B1|2008-02-12|문맥 기반 적응적 가변 길이 부호화 인코더 및 디코더,문맥 기반 적응성 가변 길이 부호화하는 방법과 복호화하는방법 및 이를 이용한 동영상 전송 시스템.
    JP2021093635A|2021-06-17|符号化装置、復号装置、及びプログラム
    WO2021206137A1|2021-10-14|符号化装置、復号装置、及びプログラム
    GB2559912A|2018-08-22|Video encoding and decoding using transforms
    同族专利:
    公开号 | 公开日
    EP3026911A1|2016-06-01|
    KR101622450B1|2016-05-18|
    PT2652954E|2016-06-07|
    CN103404141A|2013-11-20|
    US20140056362A1|2014-02-27|
    EP2652954B1|2016-03-30|
    JP2014523175A|2014-09-08|
    JP6328220B2|2018-05-23|
    GB2492333A|2013-01-02|
    GB201110873D0|2011-08-10|
    GB2492333B|2018-12-12|
    ES2574278T3|2016-06-16|
    WO2013001279A3|2013-03-07|
    CN105847815B|2019-05-10|
    US8923406B2|2014-12-30|
    KR20140027932A|2014-03-07|
    TWI516095B|2016-01-01|
    WO2013001278A1|2013-01-03|
    WO2013001279A2|2013-01-03|
    PL2652954T3|2016-10-31|
    CN103404141B|2017-06-06|
    EP2652954A2|2013-10-23|
    JP2017098975A|2017-06-01|
    CN105847815A|2016-08-10|
    JP6063935B2|2017-01-18|
    引用文献:
    公开号 | 申请日 | 公开日 | 申请人 | 专利标题
    EP0542261B1|1991-11-12|1998-10-21|Nippon Hoso Kyokai|Method of performing high efficiency coding of image signal and system therefor|
    JP3361543B2|1992-01-27|2003-01-07|日本放送協会|画像信号符号化装置|
    JP3211989B2|1992-08-31|2001-09-25|日本ビクター株式会社|直交変換符号化装置及び復号化装置|
    KR0134504B1|1992-09-09|1998-04-23|배순훈|적응적 주파수 변환기를 가진 영상 부호화기|
    JPH06217280A|1993-01-14|1994-08-05|Sony Corp|動画像符号化及び復号化装置|
    US6215898B1|1997-04-15|2001-04-10|Interval Research Corporation|Data processing system and method|
    JP2004511139A|2000-09-27|2004-04-08|コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ|データの復号|
    US7206459B2|2001-07-31|2007-04-17|Ricoh Co., Ltd.|Enhancement of compressed images|
    JP4267848B2|2001-09-25|2009-05-27|株式会社リコー|画像符号化装置、画像復号装置、画像符号化方法、及び、画像復号方法|
    CN101448162B|2001-12-17|2013-01-02|微软公司|处理视频图像的方法|
    US7242713B2|2002-05-02|2007-07-10|Microsoft Corporation|2-D transforms for image and video coding|
    US6795584B2|2002-10-03|2004-09-21|Nokia Corporation|Context-based adaptive variable length coding for adaptive block transforms|
    KR20050026318A|2003-09-09|2005-03-15|삼성전자주식회사|인트라 스킵 모드를 포함하는 비디오 인코딩_디코딩 장치및 방법|
    CN101005620B|2004-09-03|2011-08-10|微软公司|为隔行扫描和逐行扫描视频编码和解码宏块和运动信息中的革新|
    CN100488254C|2005-11-30|2009-05-13|联合信源数字音视频技术（北京）有限公司|一种基于上下文的熵编码方法及解码方法|
    KR100964641B1|2006-01-09|2010-06-21|마티아스 나르로쉬케|복합형 비디오 부호화에서의 예측 에러의 적응 부호화 기술|
    CN101106721A|2006-07-10|2008-01-16|华为技术有限公司|一种编解码装置及相关编码器|
    CN101267553A|2007-03-12|2008-09-17|华为技术有限公司|一种实现编、解码的方法和装置|
    KR101885258B1|2010-05-14|2018-08-06|삼성전자주식회사|비디오 신호의 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치|
    CN102447907A|2012-01-31|2012-05-09|北京工业大学|一种针对hevc的视频序列的编码方法|CN107483930B|2011-10-17|2020-03-06|株式会社Kt|利用解码装置解码视频信号的方法|
    GB2559063B|2011-10-17|2018-11-14|Kt Corp|Video decoding method using transform method selected from a transform method set|
    KR101539107B1|2011-10-18|2015-07-24|주식회사 케이티|영상 부호화 방법, 영상 복호화 방법, 영상 부호화기 및 영상 복호화기|
    US9300973B2|2011-10-19|2016-03-29|Kt Corporation|Method and apparatus for encoding/decoding image using transform skip flag|
    US20130188736A1|2012-01-19|2013-07-25|Sharp Laboratories Of America, Inc.|High throughput significance map processing for cabac in hevc|
    WO2013109471A1|2012-01-19|2013-07-25|Vid Scale, Inc.|System and method of video coding quantization and dynamic range control|
    US9743116B2|2012-01-19|2017-08-22|Huawei Technologies Co., Ltd.|High throughput coding for CABAC in HEVC|
    US10616581B2|2012-01-19|2020-04-07|Huawei Technologies Co., Ltd.|Modified coding for a transform skipped block for CABAC in HEVC|
    JP6139774B2|2013-07-15|2017-05-31|ホアウェイ・テクノロジーズ・カンパニー・リミテッド|Ｈｅｖｃにおけるｃａｂａｃのための変換スキップされたブロックのための修正コーディング|
    US9654139B2|2012-01-19|2017-05-16|Huawei Technologies Co., Ltd.|High throughput binarizationmethod for CABAC in HEVC|
    US9860527B2|2012-01-19|2018-01-02|Huawei Technologies Co., Ltd.|High throughput residual coding for a transform skipped block for CABAC in HEVC|
    CN109905710B|2012-06-12|2021-12-21|太阳专利托管公司|动态图像编码方法及装置、动态图像解码方法及装置|
    US9426466B2|2012-06-22|2016-08-23|Qualcomm Incorporated|Transform skip mode|
    GB2503875B|2012-06-29|2015-06-10|Canon Kk|Method and device for encoding or decoding an image|
    US9877025B2|2013-07-12|2018-01-23|British Broadcasting Corporation|Video encoding and decoding with prediction at higher precision|
    CN105684442B|2013-07-23|2020-02-21|英迪股份有限公司|用于编码/解码图像的方法|
    US9445132B2|2013-09-09|2016-09-13|Qualcomm Incorporated|Two level last significant coefficientposition coding|
    GB2518823A|2013-09-25|2015-04-08|Sony Corp|Data encoding and decoding|
    JPWO2015053115A1|2013-10-11|2017-03-09|ソニー株式会社|復号装置および復号方法、並びに、符号化装置および符号化方法|
    JP6287035B2|2013-10-11|2018-03-07|ソニー株式会社|復号装置および復号方法|
    KR102185857B1|2014-02-13|2020-12-02|삼성전자주식회사|영상 부호화, 복호화 방법 및 장치|
    CN107211146A|2014-11-21|2017-09-26|Vid拓展公司|一维变换模式和系数扫描顺序|
    US10271050B2|2015-01-05|2019-04-23|Samsung Electronics Co., Ltd.|Methods, systems and devices including an encoder for image processing|
    KR20180040514A|2015-09-10|2018-04-20|삼성전자주식회사|부호화 장치, 복호화 장치 및 그 부호화 방법 및 복호화 방법|
    US20180278943A1|2015-09-21|2018-09-27|Lg Electronics Inc.|Method and apparatus for processing video signals using coefficient induced prediction|
    US20170150186A1|2015-11-25|2017-05-25|Qualcomm Incorporated|Flexible transform tree structure in video coding|
    CN105578190B|2016-02-03|2018-05-04|珠海全志科技股份有限公司|应用于视频硬解码的无损压缩方法及系统|
    US10244248B2|2016-02-25|2019-03-26|Mediatek Inc.|Residual processing circuit using single-path pipeline or multi-path pipeline and associated residual processing method|
    AU2017261992A1|2016-05-13|2018-11-22|Sony Corporation|Image processing device and method|
    CN113411579A|2016-05-13|2021-09-17|夏普株式会社|图像解码装置及其方法、图像编码装置及其方法|
    KR20190008205A|2016-05-13|2019-01-23|소니 주식회사|화상 처리 장치 및 방법|
    US20210297702A1|2016-08-24|2021-09-23|Sony Corporation|Image processing apparatus, image processing method, and program|
    WO2018061837A1|2016-09-30|2018-04-05|ソニー株式会社|画像処理装置および方法|
    WO2019022099A1|2017-07-28|2019-01-31|パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ|符号化装置、復号装置、符号化方法及び復号方法|
    EP3484151A1|2017-11-13|2019-05-15|Thomson Licensing|Method and apparatus for generating quantization matrices in video encoding and decoding|
    KR20200088297A|2017-12-13|2020-07-22|삼성전자주식회사|비디오 복호화 방법 및 그 장치 및 비디오 부호화 방법 및 그 장치|
    EP3716631A1|2017-12-21|2020-09-30|LG Electronics Inc.|Method for coding image on basis of selective transform and device therefor|
    KR20200096537A|2018-01-02|2020-08-12|삼성전자주식회사|비디오 복호화 방법 및 그 장치 및 비디오 부호화 방법 및 그 장치|
    JP6477930B2|2018-01-17|2019-03-06|ソニー株式会社|符号化装置および符号化方法|
    KR20200039591A|2018-10-05|2020-04-16|한국전자통신연구원|영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체|
    US20200137421A1|2018-10-29|2020-04-30|Google Llc|Geometric transforms for image compression|
    WO2020182207A1|2019-03-13|2020-09-17|Beijing Bytedance Network Technology Co., Ltd.|Partitions on sub-block transform mode|
    US20200396487A1|2019-06-14|2020-12-17|Qualcomm Incorporated|Transform and last significant coefficient position signaling for low-frequency non-separable transform in video coding|
    CN110418138B|2019-07-29|2021-08-27|北京奇艺世纪科技有限公司|视频处理方法、装置、电子设备及存储介质|
    WO2021032162A1|2019-08-20|2021-02-25|Beijing Bytedance Network Technology Co., Ltd.|Signaling for transform skip mode|
    WO2021047540A1|2019-09-09|2021-03-18|Beijing Bytedance Network Technology Co., Ltd.|Coefficient scaling for high precision image and video coding|
    法律状态:
    优先权:
    申请号 | 申请日 | 专利标题
    GB1110873.5A|GB2492333B|2011-06-27|2011-06-27|Video encoding and decoding using transforms|
    [返回顶部]